Phần nổi tiếng trong dinh tổng trấn và cũng được biết đến trong văn học là nhà giam với nhiều phòng giam trong hai tòa nhà được nối với nhau bằng Cầu Than thở. Trong dinh tổng trấn có vài phòng giam tại tầng trệt và 6 hay 7 phòng giam ngay dưới mái nhà bọc chì. Sau đấy là Cầu Than thở và các phòng giam bên kia cầu được xây trong thế kỷ 16. Thật ra trong lịch sử không có nhiều tù nhân trong trại giam này. Trong thế kỷ 18 thường không có nhiều hơn 6 hay 7 tù nhân đồng thời ngồi tù.